由于Jacot等人的著名结果,神经切线内核(NTK)被广泛用于分析过多散热性神经网络。 (2018):在无限宽度限制中,NTK在训练过程中是确定性和恒定的。但是,该结果无法解释深网的行为,因为如果深度和宽度同时无穷大,通常不会成立。在本文中,我们研究了与宽度相当的深度连接的Relu网络的NTK。我们证明NTK性质显着取决于初始化时的深度与宽度比和参数的分布。实际上,我们的结果表明,在Poole等人中确定的超参数空间中这三个阶段的重要性。 (2016年):订购,混乱和混乱的边缘(EOC)。我们在所有三个阶段中都在无限深度和宽度极限中得出NTK分散剂的精确表达式,并得出结论,NTK的可变性在EOC和混乱阶段随着深度而呈指数增长,但在有序阶段中却没有。我们还表明,深网的NTK只能在有序阶段训练期间保持恒定,并讨论NTK矩阵的结构在训练过程中如何变化。
translated by 谷歌翻译